Hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/;
了解:虚拟机:KVM,XEN ,ESXI,VMWare,windows+cygwin。
SSH软件:secure CRT 或 putty ,也可以用vmwareclient 管理ESXI。
准备:首先虚拟化几台机器,安装hadoop。在windows上使用xftp很方便地在多台机器之间传输文件。利用 putty 很方便的进行命令操作。
学习:rack 机架调整,记住默认常用的端口号,善于看 log文档,多用NFS网络文件系统深入更好地配置文件以及服务端权限的配置
总结:
1, 重新配置平台的时候,删除tmp,log,dfs(data,name)中文件
2, scp 复制文件方法
3, chown –R root:root java 其中 –R的意思:权限对此目录以及 目录下所有文件生效。
4, 网页查看 节点状态:比如我配置的文件查看方式为:http://10.18.47.212:8088。
5, 也可以用:http://10.18.47.212.50070 查看每个节点的状态。
6, 添加新的节点:hadoop-daemon.shstart nodemanager 注意出现tmp和data权限错误。
7, 接着启动 换启动方式:yarn-dameon.shsart nodemanager
8, 接着还要启动:start-balancer.sh。
9, 查看端口状态信息:netstat–apv
10, 当配置的节点主机本身内存太小,可以把 JAVAOPTS的数值调的小一点。
11, 用more命令查看log文件比较方便。
12, 接着再启动
13, 把电脑的空闲分区加载进来,以后做大数据,怕是各个节点的存储不够。
14, Hadoop编译成64位时候如果出现问题,junit与netty问题,就是下载的资源包不行,数据源不好。
15, git 项目管理工具。
16, wput, wget, sftp 操作。
17, 在linux中如何查看隐藏文件???
18, 配置自启动网络和IP命令配置:
vi /etc/sysconfig/network-scripts/ifcfg-eth0 或者 别的 ifcfg-eth。。。名字。
原文地址:http://blog.csdn.net/jiangliqing1234/article/details/40685171
今天的教程介绍的是3个节点的Hadoop平台建设。本次安装规划使用三个节点,每个节点都使用centos系统。
四个节点上均是CentOS6.0系统,并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行
Hadoop运行软件环境:SSH及 SSHD服务正常运行2. JDK,
Hadoop集群的部署环境是经过虚拟化之后的四台主机,Master是Hadoop集群的管理节点,重要的hadoop安装配置工作都在它上面,至于它的功能和作用请参考HadoopAPI。
hadoop学习过程中,我们会遇到各种各样的问题,常见的有hadoop无法启动,集群不能正常工作,不停跳出报错信息等等,这里总结了常见的几个问题及除了方法,希望对大家有用。
【聚焦搜索,数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启!
本次大会上,紫晶存储董事、总经理钟国裕作为公司代表,与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移,为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信,通过本次合作,能够使双方进一步提升技术实力、提升产品品质及服务质量,为客户创造更大价值。